แลร์รี คาร์ลตันเริ่มหัดเล่นกีตาร์ตั้งแต่อายุหกปี และเริ่มมีความสนใจในแนวดนตรีแจ๊ส โดยได้รับอิทธิพลการเล่นมาจากผลงานของโจ พาสส์ เวส มอนต์โกเมอร์รี บาร์นี แคซเซล และบี. บี. คิง เริ่มงานเป็นนักดนตรีอาชีพให้กับห้องบันทึกเสียงในลอสแอนเจลิส โดยมีผลงานบันทึกเสียงให้ศิลปินมีชื่อ เช่น สตีลลี แดน โจนี มิตเชล บิลลี โจล ไมเคิล แจ็กสัน ควินซี โจนส์

ตั้งแต่ปี ค.ศ. 1971 ถึง 1976 แลร์รี คาร์ลตันเป็นสมาชิกของวงเดอะครูเซเดอร์ส วงดนตรีแจ๊ส-ฟังก์ที่นำโดยโจ แซมเปิล (เปียโน) และวิลตัน เฟลเดอร์ (แซกโซโฟน) จากนั้นได้เซ็นสัญญาเป็นศิลปินเดี่ยวกับวอร์เนอร์บราเธอร์สเรเคิดส์ มีผลงาน 6 ชุด ระหว่างปี 1977 ถึง 1984

แลร์รี คาร์ลตันเริ่มประสบความสำเร็จในวงกว้าง จากผลงานในปี 1985 ชุด Alone/But Never Alone ตามด้วยอัลบัมบันทึกการแสดงสด Last Nite และอัลบัม Discovery ในปี 1986 จากนั้นได้หยุดเล่นดนตรีไประยะหนึ่ง ช่วงปี 1988 เนื่องจากได้รับบาดเจ็บสาหัสจกาการถูกทำร้ายด้วยอาวุธปืน ระหว่างบันทึกเสียงอัลบัม On Solid Ground ทำให้อัลบัมนี้ต้องเลื่อนการจำหน่ายเป็นปี 1989